|
|
1.
基于Hadoop平台的并行DHP数据分析方法
杨燕霞, 冯林
计算机应用
2016, 36 (12):
3280-3284.
DOI: 10.11772/j.issn.1001-9081.2016.12.3280
由候选项集
C
2生成频繁2-项集
L
2是关联规则Apriori算法的一个瓶颈。直接哈希修剪（DHP）算法利用一个生成的Hash表
H
2删减
C
2中无用的候选项集，以此提高
L
2的生成效率。但传统DHP算法是一个串行算法，不能有效处理较大规模数据。针对这一问题，提出DHP的并行化算法——H_DHP。首先，对DHP算法并行化策略的可行性进行了理论分析与证明；其次，基于Hadoop平台，把Hash表
H
2的生成以及频繁项集
L
1、
L
3~
L
k的生成方法进行了并行实现，并借助Hbase数据库生成关联规则。仿真实验结果表明：与传统DHP算法相比，H_DHP算法在数据的处理时间效率、处理数据集的规模大小，以及加速比和可扩展性等方面都有较好的性能。
参考文献 |
相关文章 |
多维度评价
|
|
